DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention
DAMI：双轴记忆初始化增强门控线性注意力长上下文检索
🧭 门控线性注意力 · 记忆初始化 ★ 深度解读
SpeedAI · Beihang University
联合配置头时间尺度与层输入敏感度，在不增加参数的情况下提升五种线性注意力架构的长上下文检索准确率
📌 工作参考价值（4 点）
- 用户长期行为序列建模：若用 Mamba/GDN/RWKV 等线性注意力处理用户长 session，可将多个 head 的衰减时间尺度几何分布（如 1~4096），让不同 head 分别捕捉近期点击与长期偏好；避免统一衰减导致远期信号被遗忘或近期噪声过拟合。
- 分层表征初始化先验：低-高-低输入敏感度可迁移到推荐/Ads 塔：浅层 embedding/low-level 层保持低敏感性求稳定，中间交叉层高敏感捕捉动态，深层汇总层再低敏感防止稀有关联消失；配合无梯度校准，只需少量业务激活即可完成初始化。
- 工程可插拔且零推理成本：DAMI 仅改变衰减侧初始化，不增加参数与推理开销；适合作为现有 SSM/线性注意力推荐模型的 baseline 增强，尤其当业务数据分布迁移或长上下文需求提升时，可低成本重校准。
- 长上下文检索能力：若模型需要从长会话/长文档中检索相关信息（例如客服历史、详情页关联），可参考 RULER 风格评估，并利用该初始化改善远距离依赖命中。